Propriété asymptotique d'équirépartition (AEP) :

• on considère une Source sans mémoire et un Canal sans mémoire
• \(X_{1:n}\) désigne \(n\) v.a.i.i.d

$$\Huge\iff$$

• $$\forall\varepsilon\gt 0,\quad {\Bbb P}\left(\left|-\frac1n\log_2(p_{X_{1:n} }(x_{1:n}))-H(X)\right|\geqslant\varepsilon\right){\underset{n\to+\infty}\longrightarrow}0$$

Questions de cours

START
Ω Basique (+inversé optionnel)
Recto: Donne une conséquence importante de l'AEP.
Verso: Pour une source sans mémoire, lorsque \(n\to+\infty\), toutes les séquences concentrant l'essentiel de la probabilité deviennent équiprobable et on peut grossièrement estimer leur probabilité : $$p_{X_{1:n} }(x_{1:n})\approx2^{-nH(X)}.$$
Bonus: \(\to\) Ensemble des séquences typiques Carte inversée ?:
END

Démonstration de l'AEP.

On peut décomposer la probabilité de \(X_{1:n}\) par indépendance.

On conclut via la Loi faible des grands nombres.

'information